Latent Reasoning with Normalizing Flows
基于归一化流的潜在推理框架 NF-CoT
🧭 潜在推理 · 归一化流 · 连续思维
University of Pennsylvania · UC San Diego · Meta
用归一化流建模连续潜在思维，保留自回归生成、精确似然与 KV 缓存，提升代码生成并降低推理成本
📌 工作参考价值（4 点）
- 压缩中间推理，减少 token 开销：将部分思考步骤表达为紧凑的连续向量而非文本 token，在需要长推理链的任务中可显著降低 API 调用成本或推理延迟，适合电商客服、推荐解释生成等对延迟和成本敏感的场景。
- 保留左到右自回归与 KV-cache 兼容性：NF-CoT 的连续思维嵌入原语言模型的因果流，不影响标准推理加速技术，可直接部署到现有 LLM 推理服务中，无需特殊工程改造。
- 连续空间概率建模支持策略梯度优化：提供精确的似然估计，可在连续思维空间上直接进行 RL 微调，为 agent 工具调用推理或推荐策略学习提供更细粒度的优化信号。
- 连续思维可蒸馏自显式 CoT：能够将繁琐的文本推理链压缩成连续表示，未来可用于压缩电商中的长对话历史或复杂推荐逻辑，作为高效上下文注入后续生成。